最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。 1、larbin的URL去重用的很高效的bloom filter算法 ...

TXT文件： txt是微软在操作系统上附带的一种文本格式，文件以.txt为后缀。 从txt文件中读取数据： 将数据写入txt文件： 注：a表示appen ...

scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调 ...

最近在看爬虫方面的知识，看到崔庆才所著的《Python3网络爬虫开发实战》一书讲的比较系统，果断入手学习。下面根据书中的内容，简单总结一下爬虫的基础知识，并且实际练习一下。详细内容请见：https:/ ...

前言： 网络爬虫抓取下来的页面，都是大文本，应该如何存储呢？ 我觉得，如果存储在mysql 或是 sqlserver这种关系型数据库当中，应该不是很恰当的。首先，页面相对独立，基本没什么 ...

分布式网络爬虫的研究与实现 摘 要 随着互联网的高速发展，在互联网搜索服务中，搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页 ...

题外话： 很久没写博客了，因为前一段时间过年在家放假，又因为自己保研了，所以一直比较闲。整个假期，基本都在准备毕业设计的相关内容。我毕业设计的方向是关于搜索引擎的，因此，期间阅读了大量相关论 ...

URL队列被爬行进程赋予一个URL（或者来自于其他爬行进程的主机分离器）。它维护了一个包含大量URL的队列，并且每当有爬虫线程寻找URL的时候，它都会按照某种顺序重新排序。以何种顺序返回队列中 ...

在《爬虫基础以及一个简单的实例》一文中，我们使用了正则表达式来解析爬取的网页。但是正则表达式有些繁琐，使用起来不是那么方便。这次我们试一下用Xpath选择器来解析网页。 首先，什么是XPath ...

urllib模块 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib. ...